多模式知识图(MKG)不仅包括关系三重态,还包括相关的多模式辅助数据(即文本和图像),从而增强了知识的多样性。然而,自然的不完整严重阻碍了MKG的应用。为了解决该问题,现有研究采用基于嵌入的推理模型来融合多模式特征后推断缺失的知识。但是,由于以下问题,这些方法的推理性能受到限制:(1)多模式辅助特征的无效融合; (2)缺乏复杂的推理能力以及无法进行多跳的推理,该推理能够推断出更多的知识。为了克服这些问题,我们提出了一个名为MMKGR(多模式知识图推理)的新型模型。具体而言,该模型包含以下两个组件:(1)统一的栅极注意网络,旨在通过充分的注意力相互作用和降低噪声来生成有效的多模式互补特征; (2)一种补充特征感知的增强学习方法,该方法根据组件(1)中获得的特征,通过执行多跳的推理过程来预测丢失元素。实验结果表明,MMKGR在MKG推理任务中的最新方法优于最先进的方法。
translated by 谷歌翻译